在 《ApplicationMaster啟動及資源申請源碼分析》中，AM 向 RM 注冊后，會周期性地通過 RPC 函數 ApplicationMaster#allocate() 與 RM 通信，通信 ...

一、Yarn 資源調度方式 資源調度方式確定了當任務提交到集群，如何為其分配資源執行任務。在 FairScheduler 中提供了兩種資源調度方式：心跳調度和連續調度。 心跳調度方式：Nod ...

一、聚合日志介紹 日志聚集是YARN提供的日志中央化管理功能，它能將運行完成的Container任務日志上傳到HDFS上，從而減輕NodeManager負載，且提供一個中央化存儲和分析機制。默認情況 ...

本文主要介紹 ApplicationMaster 的運行流程，並從 ApplicationMaster 的啟動、注冊/心跳、Container 資源申請與分配三個角度分析相關源碼。其中花了大量篇幅介紹 ...

一、Yarn 架構 1.1 基本概念 Yarn 采用傳統的 master-slave 架構模式，其主要由 4 種組件組成，它們的主要功能如下： ResourceManager（RM ...

問題背景 線上集群出現過幾次 Yarn RM 寫 ZK ZNode 的數據量超過 ZNode 限制，導致 RM 服務均進入 Standby 狀態，用戶無法正常提交任務，整個集群 hang 住，后續排 ...

一、調度壓力模擬器介紹 最近在調研Yarn調度性能問題，考慮到線上集群規模已達到5k+台，在線上環境實驗是不太可行的，因此必須在線上有一套環境來驗證調度器的性能，才能把有效的優化策略推廣到線上環境。 ...

NodeManager（NM）是 Yarn 中單個節點上的代理，它管理 Hadoop 集群中單個計算節點，功能包括與 ResourceManager 保持通信、管理 Container 的生命周期、監 ...